通过选择性审计实现可靠的 AI 辅助决策
🧭 在线决策监控 · 选择性人工审计
University of Toronto · Stanford University · University of California, Berkeley
提出在线选择性审计框架，在控制未审计 AI 错误比例低于阈值的同时最小化人工审计频率
📌 工作参考价值（4 点）
- 在电商/推荐场景中，AI 生成的商品描述、推荐理由或 Agent 操作常带有 confidence score；可借鉴该框架做选择性人工审核：设定业务可接受的未纠错比例 α，用在线阈值动态决定哪些 case 送审，减少全量审核。
- 算法无分布假设，对 i.i.d. 和对抗性流量都有理论保证，适合电商大促、恶意刷单等非平稳流量下的审核策略。
- 若系统由“生成 Agent + 校验 Agent”组成，可把校验分数作为 confidence score，接入该方法自动升级高风险决策；阈值无需重新训练，直接在线调整。
- 工程上可作为轻量级后处理模块：不改变原有模型，只需输出 score，与现有规则/模型融合成本低；实验表明在 LLM 有害请求过滤、数据标注等任务中能显著降低人工审核量。
从干草堆中拔针：通过权重正交化移除 LLM 后门
🧭 LLM 安全防御 · 权重正交化
Locai Labs · Centre for AI, Computer Science, UCL
训练免清洗方法估计后门方向与拒绝子空间，对权重正交化，在保持安全能力的同时实现最低 ASR
📌 工作参考价值（4 点）
- 若业务中微调或使用开源 LLM 作为导购/客服/推荐 Agent，上游权重可能被投毒；NEEDLE 提供一种无需干净基线和原始训练数据的应急修复手段，适合已上线模型的后门摘除。
- 其“估计激活方向 → 权重正交投影”的思路可推广到业务中的模型行为纠正：例如用少量对比样本估计生成式推荐模型中的偏见、幻觉或不合规输出方向，通过投影移除，无需全量微调。
- 保留拒绝子空间的做法可作为模型编辑的约束：在修改推荐/Agent 模型权重时，显式保持安全对齐相关表示不变，降低对拒绝、安全审核、对话质量等下游能力的附带损害。
- 评估体系可借鉴：线上模型任何补丁/编辑/校准，除了效果指标，应同时监控 ASR、KL 散度与能力基准，避免治好后门却牺牲推荐/对话质量。
缓解虚构共识：多智能体辩论合成的主动来源门控
🧭 多智能体辩论的主动来源验证与分歧处理
Institute of Computer Science, Warsaw University of Technology
在MAD合成阶段引入主动来源验证与条件阻断，显著提升来源保真度并抑制虚构共识
📌 工作参考价值（4 点）
- 在多Agent决策或推荐解释生成流程中，增加「来源审计」层：对最终输出逐条验证是否被上游日志/数据支持，防止模型生成流畅但无据的结论。
- 采用「自修复→硬阻断」策略：先尝试修正无支持的声明；若无法修正，则直接阻断并输出分歧报告，而非强行发布。在电商推荐理由生成、代理协商结果等场景可显著降低事实幻觉风险。
- 设置发布前质量门（gate）：当证据不足或置信度低时，主动降级为明确的不确定性提示（如“无法给出可靠推荐”），而不是给一个看似合理的错误答案。
- 用户研究表明，在关键场景下，用户更偏好明确的失败信号而非虚假的流畅共识。在产品设计中应优先保证可信度与透明度，而非一味追求文本流畅性。
CASCADE 对抗越狱：跨阶段组合与受控攻击-防御评估
🧭 LLM 安全防御组合与评估
School of Computing, National University of Singapore
首个系统研究 LLM 越狱防御跨阶段组合，标准化评估框架发现组合防御显著提升安全性
📌 工作参考价值（4 点）
- 若业务中部署 LLM Agent（如对话式推荐、自动生成广告文案），不要依赖单一防御，建议采用分层管道：输入阶段过滤 + 输出阶段监控，组合可显著降低越狱成功率。
- 评估自家 LLM 应用安全性时，应统一攻击成功率定义并控制攻击查询预算，避免不同设置下的不可比性，文中 CASCADE 框架可直接借鉴。
- 优先选择那些在组合后效用损失最小的防御对，例如输入改写 + 输出分类器，而非追求单个最强防御。
- 该工作主要面向安全攻防，对推荐/广告算法核心指标无直接提升，但可作为 LLM 应用上线前的安全测试规范。
RAG-Safety-Bench：检索增强 LLM 安全性的可靠评估
🧭 RAG 安全评估基准
University of Ottawa
提出 RAG-Safety-Bench 基准，用四种条件隔离 RAG 安全退化因素，发现护栏不保证 RAG 安全且良性文档也可能引发不安全生成
📌 工作参考价值（4 点）
- 在企业知识库接入 LLM/RAG 做客服、商品问答或营销文案时，不能只依赖模型自带安全护栏，需对检索文档做安全过滤、冲突检测和输出审核。
- 设计 RAG 评估时，可借鉴论文做法：将检索质量与生成安全性解耦，设置 oracle/相关/随机文档等条件，定位安全退化到底来自检索内容还是模型自身。
- 即使检索文档看似“安全/良性”（如产品描述、用户评价），也可能诱发不安全生成，因此需要额外的输出安全分类器或后处理规则，尤其在面向 C 端的生成式推荐场景。
- 模型选型时注意 trade-off：通用能力越强的开源模型可能越容易在 RAG 条件下被激活不安全能力，需要结合下游任务做安全性压测。
金融市场 Agent 的上下文≠权威：运行时结构化治理合约 SAGE-Fin
🧭 金融 Agent 运行时治理 · 权威边界合约 ★ 深度解读
OpenAsk · Binance · New York University · Xiamen University · Bank of Hebei
为金融 Agent 提供类型化收据与动态权威控制器，防止正确的上下文被越权执行
📌 工作参考价值（4 点）
- 将模型输出与执行授权解耦：为 Agent 输出创建类型化候选（candidate），显式声明所需证据和禁止效果；缺失证据则转化为“覆盖债务”并降级或阻止行动，防止检索到的上下文被直接当作指令。
- 引入严格收据类型（commit/execAuth/deploy）与适配器绑定：只有指定类型的收据才能通过相应的执行、响应或策略门，进度收据、临时凭证不能替代最终授权，避免类似“预算预留”变成“下单权限”的误解。
- 每次消费时重新检查状态：消费时重新编译候选类型、评估覆盖债务、检查收据绑定和当前状态，防止对话上下文漂移导致同一段文本在不同轮次被错误授权（如重复发射同一 SOP 响应）。
- 策略从自然语言到部署的硬边界：对话中松散的风险控制意图（如“放宽回撤限制”）必须经过确定性 IR 验证、影子测试和部署收据才能上线，不能直接将对话内容编译为可执行策略，这个模式可迁移到推荐系统的配置调整或风控策略上线流程。
基于 RFM-AGOP 的快速多维拒绝子空间提取
🧭 LLM 安全对齐 · 多维子空间提取
Télécom SudParis, Évry-Courcouronnes, France · ENS Paris-Saclay, Gif-sur-Yvette, France
利用递归特征机算法高效识别大模型的多维拒绝子空间，速度提升显著且消融效果更优
📌 工作参考价值（4 点）
- 电商/Agent 场景中若使用 LLM 生成推荐理由或交互回答，可借鉴该方法快速定位“拒绝回答”或内容过滤相关的激活子空间，低成本实现安全对齐。
- RFM 算法的高效性允许多轮在线监控，适合对延迟敏感的生产环境，比如在 Agent 每次响应前实时检测有害意图。
- 该方法只需少量探测样本即能初始化，可迁移到垂直领域的偏好控制（如避免生成竞品信息），无需从头训练分类器。
- 消融实验结果提示 RFM 提取的子空间比传统方法更精确，能减少对正常回复的误伤，适合需要保持转化率的推荐文案生成。